VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding
VideoChat3：全开源高效通用视频多模态大模型
🧭 高效通用视频多模态大模型
Nanjing University · Shanghai AI Laboratory · Nanyang Technological University · Peking University
提出膨胀3D ViT与自适应帧分辨率，结合三阶段合成数据，4B参数即超越更大模型，实现高效通用视频理解。
📌 工作参考价值（4 点）
- 视频特征提取效率：I3D-ViT 将 2D ViT 权重直接膨胀到 3D，无需重新训练时空融合模块，可直接迁移到商品视频表征、直播切片理解等场景，大幅降低训练成本。
- 流式处理设计：自适应帧分辨率（Adaptive Frame Resolution）根据视频动态调整抽帧策略，适合电商直播实时分析、监控流式视频中的行为事件，提升吞吐且保持精度。
- 多领域数据合成流水线：通过结构化提示合成多样视频问答对（通用、长视频、流式），可借鉴为推荐系统生成多模态训练数据，例如为商品视频生成属性描述、使用教程等指令微调数据，缓解标注稀缺。
- 全开放生态：模型权重、代码、数据全开源的策略，方便团队快速复现并适配垂直业务，降低自研视频理解模型的门槛，尤其适合需要定制化视觉问答或视频审核的电商场景。